Schwartzman là người Do Thái,[9][10] con trai của Ricardo và Silvana Schwartzman.[11] Anh sinh ra và lớn lên ở Buenos Aires, Argentina.[11] Gia đình anh di cư từ Đức sang Argentina.[11][12] Anh có hai người anh trai (một lập trình viên máy tính và một đại lý du lịch), và có một người chị luật sư.[13][14]

Schwartzman có biệt danh là El Peque (một từ viết tắt của "pequeño", nghĩa là "ngắn ngủn" trong tiếng Tây Ban Nha).[6][15] Khi còn trẻ, anh tập luyện tại câu lạc bộ thể thao Hacoaj JCC.